Samuel F.B. Morse lahir pada 27 April 1791 di bandar Charlestown, Massachusetts, sebagai anak sulung kepada ahli geografi dan Paderi Jedidiah Morse (1761-1826) dan Elizabeth Ann Finley Breese (1766-1828).[1] Jedidiah merupakan seorang pendakwah mazhab Calvinisme dan penyokong Parti Federalis Amerika Syarikat, bukan sahaja untuk mengiktiraf perjuangan parti tersebut mempertahankan tradisi Puritan (mentaati adat hari Sabat), malah mempercayai perikatannya bersama Britain untuk membentuk kerajaan pusat yang teguh. Jedidiah amat mempercayai sistem pendidikan berlandaskan kerangka Federalis berdasarkan nilai-nilai, akhlak dan ibadah Calvinisme untuk anaknya. Selepas tamat belajar di Akademi Phillips di Andover, Massachusetts, Samuel Morse melanjutkan pelajaran ke Kolej Yale untuk menelaah pelajaran falsafah keagamaan, matematik dan sains kuda. Ketika menuntut di Yale, beliau menghadiri kulian elektrik yang diacarakan oleh Benjamin Silliman dan Jeremiah Day. Beliau juga menjual lukisan untuk mencari pendapatan. Pada tahun 1810, beliau menerima ijazah dari Yale dengan penghormatan Phi Beta Kappa.[2]